判别式VS生成式中已经说过,生成式模型重在建模联合分布同(联合分布决定了)
无向图与有向图的核心区别就在于—建模联合分布的方式不同

有向图建模条件分布,来间接构建联合分布。
无向图则直接构建联合分布。

图模型画法, 有向图把参数也画出来了,而无向图(RBM)中省略了参数w

举例:
有向图: alpha–> theta–>y. 构建联合分布 p(y, theta) 是参数 alpha 的函数。 目的是寻找参数alpha,使得观测 y 最大似然
无向图: RBM中 x—y, p(x, y) 是参数 w 的函数。目的是寻找参数 w, 使得观测 y 最大似然。

问题集:
为什么RBM中不把x,w都视为参数。 目的寻找合适的x ,w, 使得观测 y 最大似然?

DBM的优化的pretraining中,利用的是两层两层的优化。有向图中是否可以这样做?
答:

  • 共同之处
    • 将复杂的联合分布分解为多个因子的乘积
  • 不同之处
    • 无向图模型因子是势函数,需要全局归一
    • 有向图模型因子是概率分布,无需全局归一
  • 优缺点
    • 无向图中的势函数设计不受概率分布约束,设计灵活,但全局归一代价高
    • 有向图无需全局归一、训练相对高效